ABSTRACT
Background: The use of instruments in clinical practice with measurement properties tested is highly recommended, in order to provide adequate assessment and measurement of outcomes. Objective: To calculate the minimum clinically important difference (MCID) and responsiveness of the Perme Intensive Care Unit Mobility Score (Perme Score). Methods: This retrospective, multicentric study investigated the clinimetric properties of MCID, estimated by constructing the Receiver Operating Characteristic (ROC). Maximizing sensitivity and specificity by Youden's, the ROC curve calibration was performed by the Hosmer and Lemeshow goodness-of-fit test. Additionally, we established the responsiveness, floor and ceiling effects, internal consistency, and predictive validity of the Perme Score. Results: A total of 1.200 adult patients records from four mixed general intensive care units (ICUs) were included. To analyze which difference clinically reflects a relevant evolution we calculated the area under the curve (AUC) of 0.96 (95% CI: 0.95-0.98), and the optimal cut-off value of 7.0 points was established. No substantial floor (8.8%) or ceiling effects (4.9%) were observed at ICU discharge. However, a moderate floor effect was observed at ICU admission (19.3%), in contrast to a very low incidence of ceiling effect (0.6%). The Perme Score at ICU admission was associated with hospital mortality, OR 0.86 (95% CI: 0.82-0.91), and the predictive validity for ICU stay presented a mean ratio of 0.97 (95% CI: 0.96-0.98). Conclusion: Our findings support the establishment of the minimum clinically important difference and responsiveness of the Perme Score as a measure of mobility status in the ICU.
Antecedentes: Se recomienda encarecidamente el uso de instrumentos en la práctica clínica con propiedades de medición probadas, con el fin de proporcionar una evaluación y medición adecuada de los resultados. Objetivo: Calcular la diferencia mínima clínicamente importante (MCID) y la capacidad de respuesta de la puntuación de movilidad de la unidad de cuidados intensivos de Perme (Perme Score). Métodos: Este estudio multicéntrico retrospectivo investigó las propiedades clinimétricas de MCID, estimadas mediante la construcción de la característica operativa del receptor (ROC). Maximizando la sensibilidad y especificidad mediante la prueba de Youden, la calibración de la curva ROC se realizó mediante la prueba de bondad de ajuste de Hosmer y Lemeshow. Además, establecimos la capacidad de respuesta, los efectos suelo y techo, la consistencia interna y la validez predictiva del Perme Score. Resultados: Se incluyeron un total de 1,200 registros de pacientes adultos de cuatro unidades de cuidados intensivos (UCI) generales mixtas. Para analizar qué diferencia refleja clínicamente una evolución relevante calculamos el área bajo la curva (AUC) de 0.96 (95% CI: 0.95-0.98); y se estableció el valor de corte óptimo de 7.0 puntos. No se observaron efectos suelo (8.8%) o techo (4.9%) sustanciales al alta de la UCI. Sin embargo, se observó un efecto suelo moderado al ingreso en la UCI (19.3%), en contraste con una incidencia muy baja del efecto techo (0.6%). El Perme Score al ingreso en UCI se asoció con la mortalidad hospitalaria, OR 0.86 (95% CI: 0.82-0.91), y la validez predictiva de estancia en UCI presentó una relación media de 0.97 (95% CI: 0.96-0.98). Conclusiones: Nuestros hallazgos respaldan el establecimiento de la diferencia mínima clínicamente importante y la capacidad de respuesta de el Perme Score como medida del estado de movilidad en la UCI.
Subject(s)
Intensive Care Units , Adult , Humans , Retrospective Studies , ROC CurveABSTRACT
Background: The use of instruments in clinical practice with measurement properties tested is highly recommended, in order to provide adequate assessment and measurement of outcomes. Objective: To calculate the minimum clinically important difference (MCID) and responsiveness of the Perme Intensive Care Unit Mobility Score (Perme Score). Methods: This retrospective, multicentric study investigated the clinimetric properties of MCID, estimated by constructing the Receiver Operating Characteristic (ROC). Maximizing sensitivity and specificity by Youden's, the ROC curve calibration was performed by the Hosmer and Lemeshow goodness-of-fit test. Additionally, we established the responsiveness, floor and ceiling effects, internal consistency, and predictive validity of the Perme Score. Results: A total of 1.200 adult patients records from four mixed general intensive care units (ICUs) were included. To analyze which difference clinically reflects a relevant evolution we calculated the area under the curve (AUC) of 0.96 (95% CI: 0.95-0.98), and the optimal cut-off value of 7.0 points was established. No substantial floor (8.8%) or ceiling effects (4.9%) were observed at ICU discharge. However, a moderate floor effect was observed at ICU admission (19.3%), in contrast to a very low incidence of ceiling effect (0.6%). The Perme Score at ICU admission was associated with hospital mortality, OR 0.86 (95% CI: 0.82-0.91), and the predictive validity for ICU stay presented a mean ratio of 0.97 (95% CI: 0.96-0.98). Conclusion: Our findings support the establishment of the minimum clinically important difference and responsiveness of the Perme Score as a measure of mobility status in the ICU.
Antecedentes: Se recomienda encarecidamente el uso de instrumentos en la práctica clínica con propiedades de medición probadas, con el fin de proporcionar una evaluación y medición adecuada de los resultados. Objetivo: Calcular la diferencia mínima clínicamente importante (MCID) y la capacidad de respuesta de la puntuación de movilidad de la unidad de cuidados intensivos de Perme (Perme Score). Métodos: Este estudio multicéntrico retrospectivo investigó las propiedades clinimétricas de MCID, estimadas mediante la construcción de la característica operativa del receptor (ROC). Maximizando la sensibilidad y especificidad mediante la prueba de Youden, la calibración de la curva ROC se realizó mediante la prueba de bondad de ajuste de Hosmer y Lemeshow. Además, establecimos la capacidad de respuesta, los efectos suelo y techo, la consistencia interna y la validez predictiva del Perme Score. Resultados: Se incluyeron un total de 1,200 registros de pacientes adultos de cuatro unidades de cuidados intensivos (UCI) generales mixtas. Para analizar qué diferencia refleja clínicamente una evolución relevante calculamos el área bajo la curva (AUC) de 0.96 (95% CI: 0.95-0.98); y se estableció el valor de corte óptimo de 7.0 puntos. No se observaron efectos suelo (8.8%) o techo (4.9%) sustanciales al alta de la UCI. Sin embargo, se observó un efecto suelo moderado al ingreso en la UCI (19.3%), en contraste con una incidencia muy baja del efecto techo (0.6%). El Perme Score al ingreso en UCI se asoció con la mortalidad hospitalaria, OR 0.86 (95% CI: 0.82-0.91), y la validez predictiva de estancia en UCI presentó una relación media de 0.97 (95% CI: 0.96-0.98). Conclusiones: Nuestros hallazgos respaldan el establecimiento de la diferencia mínima clínicamente importante y la capacidad de respuesta de el Perme Score como medida del estado de movilidad en la UCI.
